Score equating, aligning and prediction in educational measurement

Para dos pruebas, un enlace entresus puntuaciones es una transformación del resultado de una a la puntuación de la otra. Los métodos de enlace de puntuaciones pueden dividirse en tres categorías básicas, llamadas predicción, alineamiento y equiparación de puntuaciones, y en varias subcategorías. Los especialistas en medición educativa y los investigadores que utilizan pruebas estandarizadas necesitan comprender las diferencias entre estos métodos y las circunstancias en que uno es más relevante que otro. Además, si es necesario, deben estar capacitados para explicar en forma sencilla estas diferencias a los usuarios de las pruebas. En este artículo, usamos el marco conceptual desarrollado por Holland y Dorans (2006) para hacer una breve revisión de estos métodos y sugerir algunas aplicaciones prácticas de los mismo

Valor agregado multinivel y factores contextuales en educación: una comparación no paramétrica robusta

Chile. Fondo Nacional de Desarrollo Científico y Tecnológico (FONDECYT) 1121164España. Ministerio de Ciencia e Innovación ECO2010-18967/ECON ECO2011-27227/ECONValencia. Generalitat Valenciana (PROMETEO/2009/066

Chilean University Students’ Satisfaction With Online Learning During COVID-19 Pandemic: Demonstrating the Two-Layer Methodology

Student satisfaction is a crucial determinant of success in online education, but studies on satisfaction with virtual classes during the COVID-19 outbreak are still scarce. This research contributes empirical evidence regarding the determinants of overall satisfaction with online classes and academic performance through the domain satisfaction approach. Additionally, we introduce to the psychological literature the two-layer model, a well-known econometric methodology, to estimate the effect of domain satisfaction while controlling the impact of unobserved individual differences. Our analyses are based on a cross-sectional sample of n = 648 Chilean university students (53.4% female) surveyed at the end of the first academic semester of 2021, during the lockdown mandated by the Chilean government due to the COVID-19 pandemic. Results show that satisfaction with the support provided by the university, satisfaction with learning, and satisfaction with the perceived quality of the online classes significantly explain the 68% of the variance of satisfaction with the virtual classes experience. Furthermore, satisfaction with academic performance is significantly explained by satisfaction with grades, learning, and the perceived quality of the online classes (R2 = .65). We also explore heterogeneous effects, separating them by gender and geographic area, and find that domains that systematically impact students’ satisfaction with online education are satisfaction with grades, learning, and the quality of classes

Construcción de representaciones acerca de pobreza y movilidad social: Un estudio evolutivo en estudiantes chilenos

El propósito de este estudio fue describir el proceso de construcción de representaciones acerca de la pobreza y desigualdad social en 500 estudiantes de ambos sexos, con edades entre 6 y 18 años, de la IX Región, Chile. Los resultados obtenidos indicaron la presencia de tres niveles de construcción de las explicaciones elaboradas por los sujetos. El nivel I se caracteriza por ideas dispersas y anecdóticas, en el nivel II predomina la idea de un Estado protector que interviene los problemas de pobreza desde una posición de beneficencia. Sólo en el nivel III, los jóvenes de la muestra construyen representaciones de mayor complejidadque incorporan elementos sociales, económicos y culturales para explicar el origen de la desigualdad socioeconómica, indicando una reestructuración conceptual en la medida que avanza el proceso evolutivo. Se observaron diferencias relacionadas con el estrato socioeconómico de pertenencia y el Sistema Financiero de residencia, en las cuales los niños y jóvenes de estratos pobres y de Sistemas Financieros Limitados muestran mayores dificultades para construir representaciones complejas

Coeficiente Phi(Lambda) y la fiabilidad de las decisiones sobre selección de personal

En el contexto de selección de personal es habitual que los tests psicológicos sean utilizados para hacer clasificaciones dicotómicas de personas. En esos casos, los coeficientes de fiabilidad convencionales, diseñados para estimar la fiabilidad de un puntaje, no resultan apropiados para estimar la precisión de la clasificación resultante. En este trabajo se presenta el coeficiente Phi(Lambda) desarrollado por Brennan y Kane (1977) en el marco de la Teoría de la Generalizabilidad (Brennan, 2001), para estimar la fiabilidad de un punto de corte. Además, se presenta un software gratuito desarrollado para facilitar la estimación del coeficiente y se demuestra su uso a través de un ejemplo empírico, con un test de selección de personal

Coeficiente Phi(Lambda) y la fiabilidad de las decisiones sobre selección de personal

In the context of personnel selection it is usual that psychological tests are employed for dichotomous classifications of applicants. In such cases, the conventional reliability coefficients, designed to estimate score reliability, are not suitable for estimating the accuracy of classifications. This paper introduces the Phi(Lambda) coefficient developed by Brennan and Kane (1977) in the framework of Generalizability Theory (Brennan, 2001) for estimating the reliability of a cutting point. In addition, a free software was developed to facilitate the estimation of the coefficient and its use is demonstrated through an empirical example, using a recruitment test.En el contexto de selección de personal es habitual que los tests psicológicos sean utilizados para hacer clasificaciones dicotómicas de personas. En esos casos, los coeficientes de fiabilidad convencionales, diseñados para estimar la fiabilidad de un puntaje, no resultan apropiados para estimar la precisión de la clasificación resultante. En este trabajo se presenta el coeficiente Phi(Lambda) desarrollado por Brennan y Kane (1977) en el marco de la Teoría de la Generalizabilidad (Brennan, 2001), para estimar la fiabilidad de un punto de corte. Además, se presenta un software gratuito desarrollado para facilitar la estimación del coeficiente y se demuestra su uso a través de un ejemplo empírico, con un test de selección de personal

Estudios de psicología

Resumen tomado de la publicaciónPara estudiar si la duración subjetiva del tiempo cambia con el paso de los años se procedió a la realización de un meta-análisis. En él se analizan algunas variables moderadoras metodológicas y contextuales. Los resultados indican que, en general, la ratio entre duración subjetiva y objetiva es superior en los mayores que en los jovenes. Sin embargo, este resultado queda matizado cuando se considera el método que los participantes utilizan para estimar el tiempo (el método de estimación verbal produce mayores tamaños del efecto que los métodos de producción y reproducción). Pero el resultado más novedoso encontrado originariamente en este meta-análisis ha sido el efecto significativo del empleo de intervalos vacios frente a llenos. Se encontraron tamaños del efecto y ratios del juicio de duración en direcciones contrarias, indicando que se produce una sobrestimación de las duraciones temporales en tareas vacías, pero una infraestimación en tareas llenas. Cuando los participantes estiman lo que dura un intervalo temporal en el que hay estimulación o realizan alguna tarea durante su transcurso, los más mayores infraestiman el tiempo subjetivo.MadridBiblioteca de Educación del Ministerio de Educación, Cultura y Deporte; Calle San Agustín, 5; 28014 Madrid; Tel. +34917748000; [email protected]

Calidad de la educación parvularia: las prácticas de clase y el camino a la mejora

La calidad de la educación parvularia se juega en la sala de clases. Esta investigación se centra en la descripción del desempeño de las educadoras de párvulos en una muestra de escuelas públicas que ofrecen prekínder a poblaciones vulnerables en las regiones Metropolitana y VI de Chile (n = 118). Para tal efecto se usa la pauta de observación CLASS (Classroom Assessment Scoring System) de prekínder y se verifica si la estructura de las prácticas en Chile se comporta de manera similar a la de Estados Unidos, de donde proviene este sistema de observación. Además, se analizan los patrones de desempeño de las educadoras en la muestra para estudiar fortalezas y debilidades en las prácticas. Los resultados indican que las prácticas en la muestra alcanzan niveles medios de desempeño en los dominios de apoyo emocional y organización de la clase, y niveles bajos en apoyo pedagógico. El patrón de desempeño es similar al encontrado en Estados Unidos y Finlandia. Por último, el desempeño de las educadoras en el aula es heterogéneo, logrando identificarse cuatro grupos distintos que requerirían programas de desarrollo profesional docente adaptados específicamente para mejorar en los ámbitos de menor desempeño en el aula

Value added, educational accountability approaches and their effects on schools' rankings: Evidence from Chile

Value added models have been proposed to analyze different aspects related to school effectiveness on the basis of student growth. There is consensus in the literature about the need to control for socioeconomic status and other contextual variables at student and school level in the estimation of value added, for which the methodologies employed have largely relied on hierarchical linear models. However, this approach is problematic because results are based on comparisons to the school’s average—implying no real incentive for performance excellence. Meanwhile, activity analysis models to estimate school value added have been unable to control for contextual variables at both the student and school levels. In this study we propose a robust frontier model to estimate contextual value added which merges relevant branches of the activity analysis literature, namely, metafrontiers and partial frontier methods. We provide an application to a large sample of Chilean schools, a relevant country to study due to the reforms made to its educational system that point out to the need of accountability measures. Results indicate not only the general relevance of including contextual variables but also how they contribute to explaining the performance differentials found for the three types of schools—public, privately-owned subsidized, and privately-owned fee-paying. Also, the results indicate that contextual value added models generate school rankings more consistent with the evaluation models currently used in Chile than any other type of evaluation models.This study was primarily supported by Grant # 1121164 and Grant # 1151313 awarded to Claudio Thieme, René Gempp and Emili Tortosa-Ausina by FONDECYT (National Fund of Scientific and Technological Development). Diego Prior and Emili Tortosa-Ausina acknowledge the financial support of Ministerio de Ciencia e In- novación ( ECO2013-44115-P and ECO2014-55221-P ). Emili Tortosa-Ausina also ac- knowledges the financial support of Generalitat Valenciana ( PROMETEOII/2014/046 and ACOMP/2014/283 ) and Universitat Jaume I ( P1.1B2014-17 ). All four authors are grateful to José Manuel Cordero and three referees whose comments contributed to an overall improvement of the paper. The usual disclaimer applies